4.1 Neyman的置信区间理论

用样本生成的 g^(X) 来估计未知参数 g(θ), 是我们在 点估计 就讨论了的问题, 但是单个值我们没办法知道它的精度有多大. 一个方法是指出一个误差限 d(X), 把估计写成区间 [g^(X)d(X),g^(X)+d(X)], 更一般地, [A(X),B(X)].
为了书写简单, 我们假定 g(θ) 就是 θ. 它们没有本质区别.

1 置信水平 置信系数

X 是样本, [θ1(X),θ2(X)]θ 的区间估计. 由于 θ 未知和 X 随机, 我们不能保证 θ[θ1(X),θ2(X)], 只能以一定的概率保证它. 由此引出

置信水平 置信区间 置信系数

如果对任意 θΘ, Pθ(θ1(X)θθ2(X))1α, 则称 [θ1(X),θ2(X)]置信水平 1α, 或 [θ1(X),θ2(X)]θ 置信水平 1α置信区间.
一切置信水平中的最大值为置信系数, 也即 inf{Pθ(θ1(X)θθ2(X))|θΘ}.

置信上界 置信下界

θ(X)θ 的一个上界估计, 0α<1. 若 θΘ, Pθ(θθ(X))1α, 则 θ(X)θ 的置信水平 1α置信上界.
类似有 θ(X), Pθ(θ(X)θ)1α, 则是置信下界.

k 维参数的情况 (k1), 可以定义区域估计, 即由样本 X 决定的区域 S(X)Rk. 也即一旦有了样本 X, 可以把 θ 估计在 S(X) 内; S(X) 一般有规则的形状, 同样可以定义置信水平、置信系数.

2 置信区间的构造

2.1 通过点估计构造置信区间

对于有些分布确切结果难以计算, 我们可以用极限分布来近似.

, <x<, <θ<. 对 θ 进行区间估计.

记样本中位数为 mn, 则 mnθθ=0 时 Cauchy 分布中 n 个样本的中位数的分布相同, 因此这个分布的密度函数 fn(x)θ 无关.
n 为奇数, 根据 这个公式 可以直接写出来; n 为偶数的时候要稍微讨论一下.
找到 fn(x) 后, 找 c>0, 使 ccfn(x)dx=1αPθ(|mnθ|c)=1α, 由此得出 [mnc,mn+c].
根据 这个结果, n(mnθ)dN(0,π24). 因此 cπuα22n.

2.2 通过假设检验构造置信区间

考虑检验问题 H0:θ=θ0H1:θθ0. 找出一个检验, 水平为 α. 设它有接受域 Aθ0, 则 Pθ0(XAθ0)1α.(θ0Θ)
如果 {XAθ0} 可以等价写成 {θ1(X)θ0θ2(X)}, 则 Pθ(θ1(X)θθ2(X))1α,θΘ. (这里 θ0 改写成 θ. ) 如果检验真实水平为 α, 则上式改为等号, 则 [θ1(X),θ2(X)] 有置信系数 1α.

对于单边问题, 参考下面的例子.

反过来, 如果我们得到了 [θ1(X),θ2(X)], 则对给定的 θ0, 不难给出一个水平 α 的检验, 例如以 {x|θ0[θ1(x),θ2(x)]} 为拒绝域. 所以区间估计和假设检验有着很密切的联系.

区间估计会让我们估计的精度和可靠性一目了然. 例如虽然我们否定了 a=0, 但如果给出 [0.01,0.03] 的置信区间, 那可见 a 总体还是很小的, 虽然统计意义上拒绝了 a=0, 但它依然是个小的数, 这就和 [50,40] 产生了区别.

3 区间估计的优良性准则

一个好的区间需要满足

这两个目标显然是相互排斥的, 我们之前的 Neyman 理论给定置信水平的情况下去找精度更高的区间估计.
不过长度并不能很好描述精度, 比如说对置信上下界就不适用.
θ(X)θ1α 水平的置信下界, 则 θ(X) 越大, 就越精确. 换言之, 对 θ<θ, Pθ(θ(X)θ) 尽可能小; 类似地对 θ(X), 对 θ>θ, Pθ(θ(X)θ) 要尽可能小.
这导出了下面的定义.

一致最精确

θ(X),θ(X), [θ1(X),θ2(X)]θ1α 水平的一致最精确置信上下界/置信区间 (UMA, Uniformly Most Accurate), 如果

  1. 1α 水平的置信上界 θ(X), 以及 θ<θ, 有 Pθ(θ(X)θ)Pθ(θ(X)θ).
  2. 1α 水平的置信上界 θ(X), 以及 θ>θ, 有 Pθ(θ(X)θ)Pθ(θ(X)θ).
  3. 1α 水平的置信区间 [θ1(X),θ2(X)], 以及 θθ, 有 Pθ(θ1(X)θθ2(X))Pθ(θ1(X)θθ2(X)).
定理 3.1

对于 前面提到的检验, 它是 UMP检验; 得到的置信区间/上下界是 UMA 置信区间/上下界.

UMA 的存在依赖于 UMP. 结合 定理, 对指数型分布族而言, 单边假设的 UMP 检验存在, 这样可以找到 UMA 置信界.

对于双边问题 θ=θ0θθ0, UMP 几乎总不存在, 所以 UMA 也几乎总不存在, 即使是指数型分布族也是. 因此上述定理的"置信区间"的部分基本就是虚设的. 为了放宽, 引入无偏置信区间/界的概念.

无偏置信区间/上下界

[θ1(X),θ2(X)], θ(X),θ(X) 分别为 θ无偏置信区间/上下界, 如果

  1. θθθ, 总有 Pθ(θ1(X)θθ2(X))Pθ(θ1(X)θθ2(X)).
  2. θθ<θ, 总有 Pθ(θ(X)θ)Pθ(θ(X)θ).
  3. θθ>θ, 总有 Pθ(θ(X)θ)Pθ(θ(X)θ).

这里的思想和 UMPU 一致. 在此基础上自然导出一致最精确的无偏置信区间/上下界 (UMAU).

定理 3.2

基于 定理3.1 一样的检验, 若所用检验为无偏的, 则置信区间/上下界也无偏; 若所用检验是 UMPU, 则所得置信区间/上下界也是 UMAU.

4 序贯区间估计

这里的动机和 序贯概率比检验 一致.
X1,,XnN(a,σ2), a,σ 未知, 要做均值 a 的区间估计. 给定置信系数 1α. 回顾 t区间估计, 区间长度为 2nStn1(α2). 如果固定 n, 则 S=1n1i=1n(XiX)2 可以取任意大的值, 区间长都可能无界, 无论 n 取多大.

C. Stein 提出了一种两阶段抽样法, 构造出了这样性质的区间: 当 σ 已知, l, n, 区间长度 l. 他的想法是: 当 σ 已知, 只要 n(2σuα2l)2. 当 σ 未知, 在第一阶段抽样来估计 σ2, 来预估 n, 再在第二阶段抽样补齐.

引理 1

mN, σ2>0 为常数, S2,Y 为随机变量, 满足条件

  1. mS2σ2χm2.
  2. 给定 S=s, YN(0,σ2s2).

Ytm.

引理 2

X1,X2 N(a,σ2), 给定 n0N, 令 X0=1n0i=1n0Xi,S2=1n01i=1n0(XiX0)2.a(t),b(t),n(t)0<t< 上的函数, a(t)0,t, 而 n(t)n0, 取整数为值. 则 Y=i=1nai(S)(Xia)Si=1nai2(S)tn01, 这里 ai(S)={a(S),in0,b(S),i>n0.

现指定 c>0n0. 第一阶段抽样 n0 次, 得到 X1,,Xn0. 定义 n(t)=max(n0,[t2c]+1),a(t)=b(t)=1n(t).n(S)=n0, 则抽样到此为止. 若 n(S)>n0, 则第二阶段抽 n(S)n0 次, 即观察 Xn0+1,,Xn(S). 令 Y=n(S)S(Xa),X=1n(S)i=1n(S)Xi, 则由引理 2, Ytn01. 于是置信区间 [XStn01(α2)n(S),X+Stn01(α2)n(S)] 有置信系数 1α, 区间长为 2Stn01(α2)n(S). 根据 n(t) 的定义, n(S)[S2c]+1S2c, 故上述区间长不超过 2ctn01(α2). 为了让它不超过 l, 只需要 c=l24tn012(α2).